Beliau pernah menjadi seorang guru. Kemudian dilantik sebagai Pemungut Hasil Tanah, Penolong Pegawai Daerah dan Pegawai Daerah di Selangor. Kemudian sebagai Penolong Setiauasaha di pejabat Pesuruhjaya Tempatan Selangor.

Pada 1 Februari 1948, beliau sekali lagi dilantik sebagai Penolong Setiausaha Negeri Pertama kepada Setiausaha Kerajaan Selangor.

Selepas belajar di United Kingdom,beliau dilantik sebagai Pegawai Daerah Teluk Anson. Kemudian dilantik sebagai Ahli Majlis Mesyuarat Negeri Negeri Sembilan dan Penolong Setiausaha Keselamatan Dalam Negeri di Bahagian Pertahanan

Menteri Besar Negeri Sembilan & Selangor

Pada tahun 1952, beliau dilantik oleh Tunku Abdul Rahman menjadi Menteri Besar Negeri Sembilan yang pertama. Kemudian pada 1 September 1954 dilantik sebagai Menteri Besar Selangor di bawah perintah Sultan Hisamuddin Alam Shah.

Ahli Rombongan Merdeka dan Persekutuan Malaysia

Tahun 1956, beliau telah dilantik mewakili raja-raja dalam rombongan merdeka ke United Kingdom untuk berbincang tentang hal-hal yang berkaitan dengan Perlembagaan. Beliau juga bersama beberapa anggota rundingan untuk sekali lagi ke London bagi membincangkan Perjanjian Pertahanan Malaya.[1]

Beliau juga terlibat pada tahun 1963 untuk ke London agar dapat membincangkan Persekutuan Malaysia. Tun Abdul Aziz telah menjadi anggota Pasukan Perundingan Persekutuan dalam Jawatankuasa Antara Kerajaan. Beliau merupakan ketua rombongan perundingan tersebut agar dapat membincangkan syarat kemasukan negeri-negeri di Borneo.

Pada masa yang sama, beliau juga dilantik sebagai Ketua Perkhidmatan Awam selama 7 tahun dari 1964.[2]

Tuan Yang Di-Pertua Melaka

Setelah bersara dari politik , beliau dilantik sebagai Yang di-Pertua Negeri Melaka dan tinggal di kediaman rasmi Sri Melaka sehingga beliau meninggal dunia. Sebuah sekolah rendah di Hulu Langat telah dinamakan sempena nama beliau iaitu Sekolah Kebangsaan Tun Abdul Aziz Majid.[3]